Ask to Be Sure: Informative Interactions for Confident Multi-Turn LLM Recommendation
以问求证：基于熵减奖励的多轮 LLM 对话推荐
🧭 生成式对话推荐 · 熵减奖励 ★ 深度解读
Amazon
用推荐熵减作为多轮交互奖励，无需 ground truth 即可训练更高效的对话推荐 LLM
📌 工作参考价值（4 点）
- 可以把“采样推荐列表的加权熵”作为在线 Agent 的不确定性信号：每次用户回复后采样 top-k 商品列表，计算熵减，作为无监督 reward 或筛选样本，用于训练导购/客服 Agent，避免人工标注交互好坏。
- DPO 偏好对可由熵减重打标签，替换 CollabLLM 里 LLM-judge 的 interactivity 分数；工程上只需在原有生成流程中加一个采样和熵计算模块，成本低，且更贴合推荐目标。
- 加权熵公式中 rank j 权重为 1/log2(j+1)，可借鉴到推荐列表评估：强调 top 位置的一致性，避免长尾商品波动干扰不确定性估计。
- 评估时除了 Hit@k，还应关注达到目标商品所需轮次；电商多轮导购中可把“轮次效率”作为核心指标，与转化率一起优化交互策略。